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基于 条 件 生成 对 抗 网 络 的 漫画 手绘 图 上 色 方 法 


PRS AMAR nh 
(广东 工业 大 学 a. 计算 机 学 院 ; b. 信息 工程 学 院 , 广州 510006) 


摘 要 : 对 漫画 手绘 图 进行 上 色 在 漫画 和 游戏 开发 领域 是 一 项 耗 时 耗 力 却 又 重要 工作 。 因 此 ， 针 对 这 项 任务 提出 一 种 
基于 条 件 生成 对 抗 网 络 (CGAN) 的 漫画 手绘 图 自动 上 色 方 法 。 实 验 中 ,采用 型 结构 的 生成 器 ， 对 网 络 模型 使 用 L1 进 
行 约束 ， 在 生成 器 和 判别 器 的 对 抗 式 训练 中 ， 模 型 不 断 学 习 并 优化 手绘 图 到 对 应 彩色 图 像 间 的 映射 关系 ， 最 后 使 用 训 
练 得 到 的 条 件 GAN 网 络 模型 对 手绘 图 上 色 。 实 验 表明 ， 使 用 这 种 方法 可 以 有 效 并 且 快 速 地 对 漫画 手绘 图 上 色 ， 同 时 
保持 可 观 的 视觉 效果 。 
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Colorization of manga sketch based on conditional generative adversarial networks 


Liang Peijun?, Liu Yijun* ^ 
(a. College of Computer, b. College of Information Engineering, College of Computer Guangdong University of Technology, 
Guangzhou 510006, China) 


Abstract: Colorization of manga sketch is an time-consuming and labor-intensive but significant task in both manga and game 


development. Therefore, for this task, this paper proposed a method to color manga sketch in unsupervised based conditional 


generative adversarial network(CGAN) . In the experiments, adopting a generator with an U-Net structure, constraining the 
model with L1 term, in the adversarial training between the generator and the discriminator, model continuously learns and 
optimizes the mapping from manga sketch to its corresponding colorful image. At last, GAN that generated model from training 
could be used to color manga sketch. Experiments results are shown to demonstrate the effectiveness of rapid colorization for 


manga sketch as well as the plausibility of visual effects. 
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pud 图 像 那样 有 着 连续 且 有 级 别 差异 的 灰 度 区 域 可 以 被 用 于 图 像 分 
B 割 ， 因 此 灰 度 图 像 彩 色 化 的 方法 并 不 能 有 效 正常 地 对 手绘 图 进 
随 着 漫画 和 数字 媒体 产业 的 蓬勃 发 展 ， 各 种 漫画 产品 出 现行 上 色 处 理 ， 从 图 1 灰 度 上 色 效 果 可 知 。 


的 速度 也 在 逐步 加 快 ， 人 们 对 于 漫画 产品 的 需求 也 不 再 只 满足 Gatys 等 人 在 文献 [4 一 0] 中 提出 一 种 能 够 进行 艺术 风格 转 
于 黑白 的 线条 画面 上 。 但 是 由 于 一 幅 漫画 生成 是 由 画家 从 黑 换 的 方法 ， 这 种 方法 的 关键 是 利用 卷 积 神经 网 络 中 图 
,然后 经 过 一 系列 繁杂 处 理 之 后 最 后 才 是 上 色 。 ”和 风格 的 特征 可 分 性 ， 将 2 张 不 同 图 片 中 各 自 取出 一 种 特征 ， 
这 个 过 程 中 ， 无 论 是 手绘 还 是 上 色 步 又 都 是 十 分 耗 时 耗 力 再 将 抽取 出 来 的 2 中 特征 结合 起 来 生成 一 种 全 新 的 图 片 ， 其 内 
是 因为 这 种 工作 的 具有 时 间 和 人 力 密集 的 性 质 ， 所 以 直到 现在 。 容 和 风格 来 自 2 张 不 同 的 图 片 。 但 是 ， 如 果 使 用 这 种 模型 来 完 
市 面 上 很 多 的 漫画 产品 也 只 有 封面 或 者 前 几 页 才 是 彩色 画面 ， 成 漫画 手绘 图 上 色 并 不 能 达到 正常 的 上 色 功 能 。 因 为 风格 并 不 
借 此 来 吸引 买 家 的 注意 力 。 因 此 ,如 果 借 助 深度 学 习 的 技术 ， 等 于 颜色 这 一 属性 ， 同 样 内 容 也 不 是 图 像 轮廓 这 以 属性 ， 从 
可 以 将 上 色 这 一 过 程 无 监督 化 ， 将 会 在 时 间 和 效率 上 给 漫画 的 1 风格 转换 效果 可 知 
作 带 来 质 的 提高 。 在 2014 年 等 人 口 提出 的 开创 性 的 生成 对 抗 网 络 (GAN) ， 
文献 [1 一 3] 之 前 的 图 像 上 色 方 法 主要 依赖 于 灰 度 区 域 的 连 。 ”该 模型 由 生成 器 模型 和 判别 器 模型 两 部 分 组 成 ， 生 成 器 模型 主 
续 性 来 找到 灰 度 相同 的 区 域 ， 从 而 辅助 于 对 图 像 的 分 割 再 进行 。 要 用 于 捕获 样本 的 数据 分 布 ， 而 判别 器 模型 承担 的 是 二 分 类 器 
彩色 化 。 然 而 黑白 的 手绘 图 只 存在 图 像 轮廓 线条 ， 并 不 像 灰 度 ”的 角色 ， 用 于 判别 输入 数据 是 有 生成 器 模型 产生 的 抑或 是 真实 
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数据 。 模 型 的 优化 过 程 简单 来 说 就 是 ， 由 生成 器 模型 生成 一 张 


十- 


图 像 来 欺骗 判别 器 模型 ， 接 着 


判别 器 模型 去 判别 这 张 图 片 的 


真实 性 ， 然 后 整个 网 络 迭 代 地 将 这 两 个 模型 进行 对 抗 训练 ， 随 


D, 


u ChinaX 
梁 培 俊 ， 等 : 基于 条 件 生成 对 抗 网 络 的 漫画 手绘 图 


将 从 随机 噪声 向 量 z 到 输出 图 像 y 的 匹配 关系 定义 为 


G:z 一 》， 生 成 对 抗 网 络 对 这 种 匹配 关系 进行 学 习 。 相 比 之 下 ， 


CGAN 学 习 的 关系 是 从 被 观测 图 像 工 和 随机 噪声 向 量 z 到 输出 


着 训练 的 过 程 的 进行 ， 两 个 模型 的 能 力 越 来 越 强 ， 最 终 达到 稳 


太 


态 。 借 助 于 这 种 博弈 式 的 优化 ，4 


E 成 对 抗 网 络 色 


的 图 像 ， 然 而 用 


方法 对 手绘 图 进行 训练 后 染色 会 产 4 
颜色 会 被 填充 于 不 相关 的 区 域 。 
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这 种 网 络 的 训练 方式 太 过 
畸形 的 结 
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图 像 》 的 匹配 关系 , 这 里 定义 为 {x,z} 站 >。 生成 器 G 被 训练 用 
于 生成 输出 结果 , 并 且 使 得 判别 器 模型 D 判断 该 输出 结果 是 真 


这 种 


漫画 手绘 图 的 上 色 需 要 考虑 两 个 关键 点 : 生成 的 彩色 图 像 


与 原本 的 手绘 氏 


考虑 底层 信息 的 不 变性 和 上 人 色 合 到 
于 漫画 手绘 图 上 色 的 条 件 生 
器 模型 和 判别 器 模型 ， 其 中 生成 器 模型 使 用 
如 型 外 解码 器 一 编码 器 [0 


的 底层 轮廓 


言 息 不 变 ， 即 底层 信息 不 变 ， 相 同 
的 颜色 不 可 以 填充 到 不 相关 区 域 ， 即 上 色 合 理性 。 本 文 在 充分 


E 性 的 基础 上 ， 


成 式 对 抗 网 络 加。 


该 网 络 包含 生成 


构建 了 一 种 用 


在 U 型 网 络 下 底层 的 信息 可 以 直 
底层 信息 的 不 变性 。 

判别 器 模型 以 块 的 方式 (PatchGAND)00 判 别 
对 每 张 生成 彩色 手绘 图 像 以 N xN 大 小 的 块 来 关 


带 有 跳跃 连接 的 
网 络 结构 。U 型 网 络 结构 如 图 2 所 示 。 
[ 接 达 到 解码 器 部 分 ， 从 而 达到 


图 像 是 否 真 实 ， 


上 1 别 ， 最 后 以 其 


均值 作为 结果 。 此 外 网 络 的 目标 函数 加 入 了 L1 约束 项 ， 使 得 


生成 的 图 像 更 加 清晰 。 该 网 络 以 黑 


的 漫画 手绘 图 作为 生成 器 


模型 的 输入 ， 在 生成 器 模型 的 解码 器 部 分 以 Dropout 的 方式 加 


入 噪声 ， 以 生成 的 彩色 漫画 图 


以 对 抗 式 的 方式 进 


映射 关系 ， 最 终 得 到 趋 于 稳 态 的 网 络 模型 。 本 文 的 训练 和 测试 
的 数据 集 是 从 safebooru 上 抓 取 并 加 了 


所 | 


行 训 练 ， 不 断 优化 彩色 图 


像 作为 输出 ， 然 后 与 判别 器 模型 
像 与 手绘 图 之 间 的 


I-A 


得 到 的 ， 使 用 


Pytorch 在 GPU 上 训练 网 络 参数 。 最 后 使 ) 


手绘 图 无 监督 上 色 ， 从 


18$ 


1 ”CGAN 漫画 手绘 图 上 色 网 络 


1.1 CGAN 原理 


图 1 本 文 方法 效果 可 知 。 


GAN 是 一 种 生成 模型 ， 包 含 生 成 器 模型 G 和 判别 器 模型 


| 的 网 络 模型 对 


实 图 像 ， 从 而 使 其 生成 的 图 像 效果 不 断 逼 近 与 真实 的 图 像 。 而 
判别 器 模型 用 于 检测 由 生成 器 模型 生成 的 图 像 。 训 练 过 程 如 图 
3 所 示 。 
向 量 之 ， 然 后 生成 彩色 图 像 。 而 判别 器 模型 p 使 


G9 


对 生成 器 模型 G 输入 条 件 信 息 黑白 手绘 图 和 随机 噪声 
生成 器 模型 
标 是 为 了 区 


分 从 生成 图 像 中 判别 出 真实 图 像 。 两 个 网 络 以 对 抗 的 方式 不 断 


E 成 的 图 像 和 原始 的 彩色 图 像 进 行 训练 。D 的 


优化 训练 ， 构 建 出 手绘 图 像 到 彩色 图 像 间 的 映射 关系 ， 最 终 使 
网 络 具有 无 监督 上 色 的 功能 。 
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图 2 U 型 网 络 结构 


生成 器 模型 ， 


识别 器 模型 ， 


图 3 CGAN 漫画 手绘 图 上 色 网 络 训练 过 程 


生成 对 抗 网 络 的 目标 函数 可 以 表示 为 
Ec (G, D) = E, y- pua 0») llog DC, y)] + 
Bo- sp 08A- DGs G(x, z))] 
生成 器 模型 尽力 最 小 化 目标 函数 ， 判 别 器 模型 尽量 最 大 化 
即 


(1) 


G =arg min max £5, (G, D) 


Q) 


这 里 介绍 一 种 判别 器 不 


为 了 测试 对 约束 判别 器 的 重要 性 ， 
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对 输入 图 像 进行 观测 的 版 本 : 


之 前 的 条 件 式 和 
s re 
生成 器 模型 的 任务 不 仅 
而 且 要 在 L2 的 基础 上 贴近 真实 输出 。 


与 传统 的 损失 
务 保持 不 变 ， 但 是 


£ ca (G, D) = E, 


37 Paga 


7 Pata C z7 p; Cz) [log(1 — 
成 对 抗 网 络 已 经 发 现 了 将 GAN 


wllog D(y)] + 


3 
D(G(x,z))] 9) 


目标 函数 


因为 Ll 产生 结果 更 为 清晰 ， 此 时 目 
Ln(G)= 


目标 函数 为 


RR 


cr 


E,,. Paata Y) 27 P; (2 


判别 器 模型 的 任 
欺骗 判别 器 模型 ， 
"n LI RE L2, 

标 函 数 如 下 : 
jl y 7 GG z) |l] (4) 


4 


G = arg min max Lcw (G, D) + A£,,(G) (5) 


的 匹配 关系 ， 但 
delta £% 


函数 之 外 的 分 布 。i 


在 没有 随机 噪声 之 的 情况 下 , 网 络 仍然 可 以 学 习 到 从 BY 
是 会 生成 确定 性 的 输 


出 ， 并 因此 无 法 匹配 到 除 


过 去 的 条 件 4 


这 一 点 并 因此 提供 高 
输入 。 这 里 以 dropout 的 形式 提供 噪声 ， 
用 在 生成 器 模型 的 一 些 层 中 。 


将 其 应 


E 成 对 抗 网 络 已 经 意识 到 了 


斯 噪声 z 和 输入 图 像 x 作为 生成 器 模型 的 


在 训练 和 测试 中 都 


这 样 模型 能 够 产生 随机 输 


出 并 因此 捕获 到 模型 


IPEE HO PRÉS o 


最 后 在 网 络 的 输出 中 ， 除 


了 dropout 噪声 之 外 ， 也 可 以 观察 到 少量 的 随机 性 。 
1.2 网 络 架 构 与 实现 详情 


本 文采 | 


激活 函 


模型 包括 和 
一 个 带 有 k 个 卷 积 核 的 层 


数 的 顺序 0 处 理 输入 信息 


成 器 模型 和 判别 器 模型 。 用 
慨 ， 按 照 卷 积 计算 、 批 正规 化 和 ReLU 


Ck 表示 


o CDk 表示 带 有 dropout 率 为 


0.5 的 层 ， 该 层 按照 卷 积 计算 、 批 正规 化 、Dropout 和 ReLU 3X 


活 的 顺序 处 理 


2 的 步 长 。 编 码 器 和 判 


输入 数据 。 所 有 卷 积 计算 中 使 
1 别 器 模型 中 的 卷 积 计算 的 下 采样 


14x4 的 卷 积 核 ， 
因子 为 


2， 而 在 解码 器 中 ， 卷 积 计算 的 上 采样 因子 为 2。 
1.2.1 生成 器 模型 架构 


曼 画 手绘 图 


色 问 题 的 一 个 确定 特性 


即 相同 的 轮廓 。 


输入 网 格 与 高 分 辨 率 的 输出 网 格 进行 匹配 。 
虽然 在 颜色 表现 上 有 所 不 同 ， 但 是 效果 图 都 有 相同 的 内 在 结构 


是 它们 将 高 分 辩 率 的 
另外 ， 输 入 和 输出 


的 问题 上 


i 入 进 


因此 ， 输 入 的 结构 和 和 输出 的 结构 几乎 对 齐 。 
因此 生成 器 模型 的 架构 也 围绕 这 些 
在 图 像 彩色 化 上 
码 器 -解码 器 网 络 , 刀 

通过 每 一 层 时 会 对 输 


e 特 点 进行 设计 。 
， 有 许多 解决 方案 都 是 采用 一 个 编 
0 图 4 所 示 , 在 这 样 的 网 络 中 的 编码 器 部 分 ， 
SFFR 


# 。 这 种 网 络 设计 要 求 所 有 


信息 流 过 所 有 的 
入 和 输出 之 间 有 大 量 的 底层 信息 被 
输入 和 输出 图 像 共享 着 突出 边 


情况 中 ， 


RAMIE o 


对 于 图 像 上 色 这 类 问题 ， 在 输 


* 享 ， 比 如 ， 手 绘图 上 色 的 


缘 的 位 置信 息 ， 因 此 可 


取 的 做 法 是 让 这 些 信息 可 以 直接 通过 网 络 。 


为 了 让 需要 


享 的 信息 可 以 在 生成 器 模型 中 


层 ， 需 要 在 生成 器 模型 


5 为 生成 器 模型 结构 。 


Ph 加 入 跳跃 连接 ， 设 计 成 U 型 结构 。 图 


能 够 绕 过 瓶颈 


生成 器 模型 包含 编码 器 部 分 和 解码 器 部 分 。 其 中 C64- 


C128-C256-C512-C512-C512-C512-C512 为 编码 器 部 分 ,而 


Ghinaxiy 合 作 基 于 


梁 培 俊 ， 等 : 基于 条 件 生 成 对 抗 网 络 的 漫画 手绘 图 上 色 方法 
CD512-CD1024-CD1024-C1024-C1024-C512-C256-C128 为 解码 
器 部 分 。 在 解码 器 的 最 后 一 层 之 后 是 一 个 卷 积 计 算 ， 用 来 匹配 
输出 通道 ， 接 着 是 一 个 tanh 函数 。 上 述 提 到 的 要 求 需要 做 一 个 
特殊 处 理 ， 批 正规 化 处 理 没有 应 用 在 编码 器 的 C64 层 。 编 码 器 
中 使 用 的 所 有 ReLU 激活 函数 类 型 都 是 斜率 为 0.2 的 
LeakyReLU. 。 而 解码 器 中 的 是 ReLU 激活 函数 。 


| 
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| 
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图 4 编码 器 -解码 器 网 络 


CD1024 


C512 CD512 


图 5 “生成 器 模型 结构 


除了 编码 器 中 的 每 个 第 i 层 与 解码 器 中 的 


设 n 是 总 层 数 ， 


第 n-i 层 之 闻 的 跳跃 连接 ，U 型 网 架构 是 相同 的 。 跳 跃 连接 将 
第 i 层 到 第 n-i 层 的 激活 函数 连接 起 来 同时 改变 了 解码 器 中 的 


1.2.2 判别 器 模型 结构 
如 式 〈5) 所 示 ， 依赖 L1 项 加 强 低频 正确 性 ， 加 强 判别 器 只 对 
高 频 结构 进行 建 模 的 约束 ， 增 加 生成 的 彩色 图 像 的 清晰 度 。 此 
外 , 为 了 对 高 频 建 模 ,判别 器 模型 结构 采用 了 PatchGAN, 这样 
能 够 只 以 块 的 规模 来 惩罚 结构 。 判 别 器 模型 尽力 地 区 分 每 张 图 
BE NxN 大 小 的 每 一 块 是 否 真实 ， 然 后 平均 所 有 响应 作为 
终 输出 。 
图 6 为 判 


Psi 


别 器 型 结构 。 在 最 后 一 层 后 面 是 一 个 卷 积 计算 ， 
j 于 匹配 一 维 输出 ， 接 下 来 是 Sigmoid 函数 。 需 要 特殊 处 理 的 
是 ，C64 层 不 使 用 批 正 规 化 处 理 。 判 别 器 模型 中 使 用 的 所 有 


ReLU 激活 函数 类 型 都 是 斜率 为 0.2 的 LeakyReLU。 


— 
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C256 C512 


判别 器 模型 结构 


训练 过 程 中 卷 积 计 算 需 要 大 量 的 矩阵 运算 ， 


CGPU) 比 中 央 处 理 单元 


图 形 处 理 单 元 
CCPU) 能 够 极 大 地 加 速 训练 速度 ， 


缩减 训练 时 间 ， 因 此 使 用 


Ubuntu16 64 位 操作 系统 ， 


GPU 更 为 合适 。 本 文 实验 平台 为 
Intel CPU i5, ATF 8 GB, GPU 使 用 


NVIDIA GTX 1050Ti, |] 
验 。 
2.2 实验 数据 与 处 理 

本 文 训 练 所 采用 


时 使 用 Pytorch 深度 学 习 框 架 进 行 实 


的 漫画 图 像 数据 集 使 用 网 络 爬 虫 从 著名 的 


漫画 素材 网 站 safebooru 上 随机 抓 取 , 并 经 过 筛选 剔除 了 不 适合 


Paani 


日 于 训练 的 数据 图 像 ， 最 终 剩 下 的 漫画 图 像 数量 为 大 约 2.7 万 


张 。 然 后 使 用 Imagemagick 对 图 像 进行 批量 缩放 到 255 x 255 的 
7 所 示 。 


尺寸 ， 部 分 原始 图 像 如 图 


部 分 原始 图 像 


再 使 用 


opencv 将 所 有 漫画 图 像 进行 批量 地 轮廓 提取 处 理 ， 


区 | 


使 其 转换 为 漫画 手绘 效果 图 。 


手绘 效果 图 像 如 图 8 所 示 。 


接着 取 前 3 000 张 图 像 作为 测试 数据 图 像 ， 剩 下 的 作为 训 
练 数据 图 像 。 为 了 使 图 像 数 据 更 能 易于 读 取 和 比较 ， 这 里 还 对 


原 图 像 和 对 应 的 处 理 后 的 图 像 一 一 连接 起 来 ， 最 终 | 


测试 ， 如 图 9 所 示 。 
2.3 ”模型 训练 


于 训练 和 


训练 过 程 中 ， 在 判别 器 模型 和 生成 器 模型 间 交 蔡 地 执行 梯 


度 下 降 , 使 用 最 小 批量 的 随机 梯度 下 降 算法 和 Adam 求解 器 (1。 


对 于 批量 的 大 小 设置 为 1， 


在 文献 [15] 中 已经 证 明 该 设置 在 图 像 


生成 任务 上 的 有 效 性 。 实 验 中 的 学 习 率 设置 为 0.0002， 和 迭代 次 


数 为 200， 训 练 时 间 需 要 3 天 ， 训 练 过 程 用 


到 visdom 服务 器 来 


2.4 实验 结果 


本 文 使 用 训练 好 的 模型 对 测试 集中 的 3 000 
色 测 试 ， 平 均一 张 漫 画 手绘 图 上 色 耗 费时 间 
色 测 试 结果 如 图 10 
手绘 图 的 上 色 效 果 满 足 J 


py 


然 灰 度 
ImageNet 的 狗 类 图 
练 方式 与 漫画 手绘 图 实验 部 分 类 似 ， 上 色 效 果 如 


上 人 色 效 果 可 看 出 ， 该 模型 对 


在 模糊 的 地 方 ， 颜 色 方 


ChinaXiv 合 
梁 培 俊 ， 等 : 基于 条 件 生成 对 抗 网 络 的 漫画 手绘 图 


图 9 训练 图 像 数据 


为 了 评估 训练 模型 是 否 可 


所 示 。 


以 用 于 对 黑白 漫画 手绘 图 
张 手 绘图 像 进 行 上 
无 监督 上 
型 的 对 漫画 
生 两 个 关键 


可 知 , 本 文 提出 的 网 络 模 
底层 信息 不 变 和 上 色 合 理 | 
， 且 整体 效果 保持 较为 清晰 和 合理 。 但 是 存在 上 色 效 果 图 存 


上 色 ， 


约 0.8 s. 


除了 验证 模型 对 漫画 手绘 区 


看 较为 单一 的 瑕 症 。 
上 色 能 力 外 ， 还 对 其 进行 了 
图 像 上 色 能 力 进行 实验 。 这 部 分 训练 和 测试 数据 来 自 
像 ， 数 量 分 别 为 1 万 和 1 千张 。 预 处 理 和 让 
图 11 所 示 。 


存在 部 分 细节 颜色 误 填 的 情况 。 


3 


对 


结束 语 


本 文 提 出 了 一 种 基于 条 件 GAN 的 漫画 手绘 
方法 ， 构 建 了 动漫 手绘 图 上 色 的 条 件 对 j 


目标 函数 添加 L1 约束 提高 上 色 效 果 图 


由 


自然 灰 度 图 像 的 有 一 定 可 行 性 ， 但 


图 无 监督 上 色 
抗 生 成 网 络 模型 ， 通 过 


的 清晰 度 ， 采 用 


U 7 


结构 的 生成 器 模型 来 保留 手绘 图 与 彩色 图 的 底层 轮廓 信息 ， 使 
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用 生成 器 和 判别 器 对 抗 式 地 训练 ， 构 建 手 绘图 与 彩色 图 间 的 映 ” ”能够 对 手绘 图 进行 合理 地 上 色 同 时 保持 一 定 清晰 度 。 后 续 将 对 
射 关系 ,最 终 产生 可 以 用 于 对 一 般 黑白 手绘 图 进行 上 色 的 模型 ， ”上 人 色 效 果 的 清晰 度 和 配色 方面 进行 进一步 研究 。 


从 而 实现 黑白 漫画 手绘 图 的 无 监督 上 色 。 实 验 表 明 ， 这 种 方法 


j 图 色 图 
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像 上 色 结 果 
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